Last Translation Benchmark
最后翻译基准：多模态对抗测试与可验证评估
🧭 机器翻译极限基准与可验证评估
ETH · JHU · MBZUAI · KIT · UvA
构建可持续更新的多模态对抗性翻译基准，用逐例可验证规则替代不可靠自动评分
📌 工作参考价值（4 点）
- 生成质量评估规则化：在电商文案、query 改写、Agent 回答等生成式任务中，把人工评估拆成逐条可校验规则（如商品属性不冲突、query 必须包含品牌词/类目词、回复不得泄露库存），显著降低评估噪声和 reward hacking 风险。
- 构建长尾对抗集：定期收集线上模型失败的 query/商品/多模态内容，经人工评审后加入回归集，可类比 LTB 的持续更新机制，防止推荐/搜索模型在罕见 case 上退化。
- 多模态统一基准：LTB 同时覆盖文本、图像、音频、视频，提示推荐系统在商品多模态理解（主图、视频、详情页）上也应建立跨模态的对抗性评估，而非只测文本召回。
- 众包质量控审：采用人工撰写+同行评审的投稿流程，可迁移到业务中构建高质量评估集的流程设计，减少单人标注偏差。